scrapy爬取酒店信息

这个真的是说来话太长。

最先是看了scrapy的官方文档，安装成功之后就创建了一个新的工程。

然后里面自身就包含如下内容：

· scrapy.cfg: 项目的配置文件

· tutorial/: 该项目的python模块。之后您将在此加入代码。

· tutorial/items.py: 项目中的item文件.

· tutorial/pipelines.py: 项目中的pipelines文件.

· tutorial/settings.py: 项目的设置文件.

· tutorial/spiders/: 放置spider代码的目录.

首先定义一个item文件：

import scrapy
from scrapy import Item, Field
class yilongItem(scrapy.Item):
    title = scrapy.Field()
    contentnews = scrapy.Field()
    pass

创建一个Spider，继承 scrapy.Spider 类， 定义以下三个属性:

· name: 用于区别Spider。 该名字必须是唯一的，您不可以为不同的Spider设定相同的名字。

· start_urls: 包含了Spider在启动时进行爬取的url列表。 因此，第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。

· parse() 是spider的一个方法。 被调用时，每个初始URL完成下载后生成的Response 对象将会作为唯一的参数传递给该函数。该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的Request 对象。

然后在该目录下创建一个main.py文件，内容如下：

from scrapy import cmdline
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.54 Safari/536.5'
cmdline.execute(['scrapy','crawl','yilong'])

自定义了一个py文件，我定义的是yilong.py。光是导入的就有很多很多：